Pentagon dibangun sewaktu Perang Dunia Kedua iaitu pada tanggal 11 September 1941. Sebelum itu, staf jabatan pertahanan terpaksa bekerja di lebih kurang tujuh belas bangunan berasingan yang terletak di merata Washington, D.C. Walaupun jabatan ini telah membuka sebuah bangunan baru di barat laut bandar raya ini, ia masih tidak mencukupi untuk menampung staf yang semakin ramai. Oleh itu, Brigadier General Brehon B. Somervell telah dipertanggungjawabkan untuk membina sebuah ibu pejabat bagi Jabatan Pertahanan ini. Dalam masa tidak lebih empat hari, beliau bersama rakannya telah membuat pelan bangunan tiga tingkat untuk menempatkan staf seramai 40,000 orang. Arkitek bangunan ini ialah George E. Bergstrom dari Philadelphia. Sebaik sahaja Pearl Harbor diserang, tingkat empat telah ditambahkan dan kemudiannya tingkat lima.

Bangunan Pentagon siap dibina pada tahun 1943, suatu jangkamasa yang amat singkat iaitu selama 18 bulan sahaja. Namun begitu, Kongres AS telah membantah pembinaannya kerana ia menelan belanja yang amat tinggi iaitu dianggarkan sebanyak USD80 bilion. Presiden Roosevelt mengira bahawa gedung ini hanyalah gedung sementara saja dan setelah Perang Dunia II akan dipakai sebagai gedung Arkib Nasional. Namun ia kekal sebagai pusat jabatan pertahanan AS sehinggalah ke hari ini. Pada tahun 1998, gedung ini telah melakukan pengubahsuaian.

Pada saat serangan 11 September 2001, pesawat Penerbangan 77 American Airlines melanggar bangunan ini. Namun begitu, tempat yang dilanggar adalah tempat yang baru diubah suai itu. Setelah peristiwa ini, ubah suai dilanjutkan dan dianggarkan selesai pada tahun 2008.